图像文本聚类（ITC）的目标是通过整合这些异质样品的多模式的互补和一致信息来找到正确的簇。但是，目前的大多数研究都根据理想的前提分析了ITC，即每种模式中的样本都是完整的。但是，在现实情况下，这种推定并不总是有效的。缺少的数据问题使图像文本特征学习性能退化，并最终会影响ITC任务中的概括能力。尽管已经提出了一系列方法来解决此不完整的图像文本群集问题（IITC），但仍然存在以下问题：1）大多数现有方法几乎不考虑异质特征域之间的明显差距。 2）对于缺少数据，很少保证由现有方法生成的表示形式适合聚类任务。 3）现有方法不利用内部和内部模式的潜在连接。在本文中，我们提出了一个聚类引起的生成不完整的图像文本聚类（CIGIT-C）网络，以应对上述挑战。更具体地说，我们首先使用特定于模态的编码器将原始功能映射到更独特的子空间。通过使用对抗生成网络在另一种模态上产生一种方式，可以彻底探索内部内部和模式之间的潜在连接。最后，我们使用两个KL DiverGence损失更新相应的模态特异性编码器。公共图像文本数据集的实验结果表明，建议的方法优于IITC作业更有效。

不完整的多视图聚类旨在通过使用来自多种模式的数据来增强聚类性能。尽管已经提出了几种研究此问题的方法，但以下缺点仍然存在：1）很难学习潜在的互补性但不使用标签信息而保持一致性的潜在表示； 2）因此，当完整的数据稀缺时，在不完整的数据中未能充分利用不完整数据中的隐藏信息会导致次优群集性能。在本文中，我们提出了与生成对抗网络（CIMIC-GAN）的对比度不完整的多视图图像聚类，该网络使用GAN填充不完整的数据并使用双对比度学习来学习完整和不完整的数据的一致性。更具体地说，考虑到多种方式之间的多样性和互补信息，我们将完整和不完整数据的自动编码表示为双对比度学习，以实现学习一致性。将gan集成到自动编码过程中不仅可以充分利用不完整数据的新功能，而且可以在存在高数据缺失率的情况下更好地概括该模型。在\ textColor {black} {四}广泛使用的数据集上进行的实验表明，cimic-gan优于最先进的不完整的多视图聚类方法。

超声检查是乳腺癌诊断的重要常规检查，这是由于其无创，无辐射和低成本的特性。但是，由于其固有的局限性，乳腺癌的诊断准确性仍然受到限制。如果我们可以通过乳房超声图像（BUS）精确诊断乳腺癌，那将是一个巨大的成功。已经提出了许多基于学习的计算机辅助诊断方法来实现乳腺癌诊断/病变分类。但是，其中大多数需要预定的ROI，然后对ROI内的病变进行分类。常规的分类骨架，例如VGG16和RESNET50，可以在没有ROI要求的情况下获得有希望的分类结果。但是这些模型缺乏解释性，因此限制了它们在临床实践中的使用。在这项研究中，我们提出了一种具有可解释特征表示的超声图像中乳腺癌诊断的新型无ROI模型。我们利用解剖学的先验知识，即恶性肿瘤和良性肿瘤在不同的组织层之间具有不同的空间关系，并提出了悬停转换器来提出这种先验知识。提出的悬停式跨界块水平和垂直地提取层间和层内空间信息。我们进行并释放一个开放的数据集GDPH＆SYSUCC，以用于公共汽车中的乳腺癌诊断。通过与四个基于CNN的模型和两个Vision Transformer模型进行比较，通过五倍的交叉验证来评估所提出的模型。它通过最佳模型可解释性实现最新的分类性能。同时，我们提出的模型在仅给出一张公交图像时，在乳腺癌诊断方面优于两名高级超声检查员。

组织病理组织分类是病理学癌症研究的基本任务。精确区分不同的组织类型是下游研究的好处，如癌症诊断，预后等。现有的作品主要利用计算机视觉中的流行分类骨干，以实现组织病理组织分类。在本文中，我们提出了一种超级轻型即插即用模块，名为金字塔深广阔的学习（PDBL），对于任何训练有素的分类骨架，以进一步提高分类性能而无需重新培训负担。我们模仿病理学家如何观察不同放大率的病理学幻灯片，并为输入图像构造图像金字塔，以获得金字塔内部信息。对于金字塔中的每个级别，我们通过我们提出的深层块（DB-Block）提取多种深度广泛的功能。我们用三个流行的分类骨干网，Shufflenetv2，EppositionNetB0和Reset50配备了PDBL，以评估我们建议模块在两个数据集（Kather Multiclass DataSet和LC25000数据集）上的提出模块的有效性和效率。实验结果表明，所提出的PDBL可以稳定地改善任何CNN骨架的组织级分类性能，特别是对于在训练样本（小于10％）中的小型时，特别是轻量级模型，这极大地节省了计算时间和注释工作。

磁共振图像（MRI）中的脑肿瘤分割（BTS）对于脑肿瘤诊断，癌症管理和研究目的至关重要。随着十年小型挑战的巨大成功以及CNN和Transformer算法的进步，已经提出了许多出色的BTS模型来解决BTS在不同技术方面的困难。但是，现有研究几乎没有考虑如何以合理的方式融合多模式图像。在本文中，我们利用了放射科医生如何从多种MRI模态诊断脑肿瘤的临床知识，并提出了一种称为CKD-TRANSBTS的临床知识驱动的脑肿瘤分割模型。我们没有直接串联所有模式，而是通过根据MRI的成像原理将输入方式分为两组来重新组织输入方式。具有拟议模态相关的跨意义块（MCCA）的双支支混合式编码器旨在提取多模式图像特征。所提出的模型以局部特征表示能力的能力来继承来自变压器和CNN的强度，以提供精确的病变边界和3D体积图像的远程特征提取。为了弥合变压器和CNN功能之间的间隙，我们提出了解码器中的反式和CNN功能校准块（TCFC）。我们将提出的模型与五个基于CNN的模型和六个基于Transformer的模型在Brats 2021挑战数据集上进行了比较。广泛的实验表明，与所有竞争对手相比，所提出的模型可实现最先进的脑肿瘤分割性能。

在本文中，我们将重尾多臂匪徒的概念概括为对抗环境，并为重尾多军匪徒（MAB）开发强大的最佳世界世界算法（MAB），其中损失具有$ \ alpha $ -th（$ 1 <\ alpha \ le 2 $）由$ \ sigma^\ alpha $界定的矩，而方差可能不存在。具体来说，我们设计了一种算法\ texttt {htinf}，当重型尾参数$ \ alpha $和$ \ sigma $是代理人所熟知的，\ texttt {htinf}同时实现了最佳的遗憾，以实现随机和逆境环境的最佳遗憾，不知道实际环境类型A-Priori。当$ \ alpha，\ sigma $是未知的时，\ texttt {htinf}在随机案例中实现了$ \ log t $ t $ style-style实例依赖的遗憾，而在对抗情况下，$ o（t）$ no-regret保证。我们进一步开发了算法\ texttt {adatinf}，实现$ \ mathcal o（\ sigma k^{1- \ nicefrac 1 \ alpha} t^{\ nicefrac {1}对抗设置，没有$ \ alpha $和$ \ sigma $的事先知识。该结果与已知的遗憾下降（Bubeck等，2013）相匹配，该遗憾的是，它假设了随机环境，并且$ \ alpha $和$ \ sigma $均为众所周知。 To our knowledge, the proposed \texttt{HTINF} algorithm is the first to enjoy a best-of-both-worlds regret guarantee, and \texttt{AdaTINF} is the first algorithm that can adapt to both $\alpha$ and $\ Sigma $以实现经典重型尾部随机mab设置和我们新颖的对抗性配方的最佳差距遗憾。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.

Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.